بهبود کارایی کلاستر با جایگذاری داده های عظیم بر اساس شباهت داده ها

پایان نامه
چکیده

در این پژوهش با استفاده از تکنیک ضرب داخلی و تعریف جدیدی از بار کاری به صورت هایپرگراف، روشی برای افزایش سرعت پردازش و به تبع آن بهبود کارایی سیستم پردازشی هادوپ ارائه دهیم. با اضافه کردن الگوریتم سریع تقسیم بندی هایپرگراف و در نظر گرفتن توازن بار و تکنیک جایگذاری داده به صورت غیرتصادفی، داده های مشابه به صورت خودکار در فایل سیستم توزیع شده در کنار هم جایگذاری می شوند. به علاوه برای کم کردن سربار در تعداد فایل های بالا، داده ها ابتدا به دسته های کوچکتر تقسیم و سپس به هایپرگراف تبدیل می شوند. با ارزیابی سیستم پیشنهادی بر روی کلاستر ec2 آمازون نشان می دهیم، مشابهت داده ها سبب کاهش تعداد عملیات پردازشی در سطح کلاستر و شبکه شده و در نتیجه سرعت پردازش، با احتساب سربار حدود 5 درصد و بدون احتساب آن تقریبا 14 درصد افزایش پیدا می کند. این روش برای برنامه های مربوط به پردازش لاگ، کاربردی و پیاده سازی شده است.

منابع مشابه

بررسی عوامل موثر بر کارایی زیست محیطی صنعت برق ایران: رهیافت تحلیل پوششی داده ها و داده های ترکیبی

In this paper to assess the environmental efficiency of electric power companies two-stage approach has been used Which means that the first step is to calculate the environmental efficiency score of electric power companies with Slack-Based Measure during the period (2004-2014). Then, the second step various factors effects have been evaluated on environmental efficiency by using Tobit and Ord...

متن کامل

تبیین اثرات ریسک بر کارایی بانک ها با استفاده از محاسبه ی کارایی به روشDEA (تحلیل پوششی داده ها)

دو مقوله مهم و بنیادی در صنعت بانکداری، کارایی و ریسک می باشد هرگونه اقدامی در جهت بهبود و ارتقا کارایی سیستم بانکداری موجب خواهد شد که جریان پس‌انداز، سرمایه‌گذاری و تخصیص منابع بهبود یابد و امکانات بالقوه، پراکنده و نهفته در کشور برای پیشرفت و رفاه عمومی به کار گرفته شود. از سویی، مدیران ارشد بانک ها نیازمند مدلی کارا و توانمند جهت ارزیابی عملکرد، سنجش کارایی و رتبه بندی شعب هستند لذا تحقیق ح...

متن کامل

تعیین کارایی نسبی دانشکده های مدیریت با رویکرد تحلیل فراگیر داده ها (Data Envelopment Analysis)

در این مقاله روش تحلیل پوشش داده ها(DEA) برای تعیین کارایی نسبی سه دانشکده مدیریت دانشگاه تهران، علامه طباطبائی و شهید بهشتی استفاده شده است. ارزش کارایی با استفاده از سه شاخص ورودی، تعداد دانشجویان دو مقطع کارشناسی و کارشناسی ارشد، تعداد اعضای کادر هیئت علمی، تعداد کارکنان اداری تمام وقت و چهار شاخص خروجی، تعداد دانش آموختگان دو مقطع کارشناسی و کارشناسی ارشد، تعداد کتب و مقالات اعضای هیئت علمی...

متن کامل

بهبود تناظریابی گذرگاههای درون شهری بر اساس هندسه عوارض در ساختار داده های چندمقیاسی

هدف از تناظریابی عوارض، شناسایی عوارض متناظر در مجموعه داده­های مختلف در دنیای واقعی می­باشد. تحقیق حاضر چارچوبی را برای بهبود تناظریابی گذرگاه­های شهری در مجموعه داده­های با مقیاس­ و منابع متفاوت ارائه می­دهد. چارچوب پیشنهادی بر اساس نظریه گراف و در نظر گرفتن معیارهای مرتبط با هندسه عوارض، جهت تناظریابی مجموعه داده­های شبکه راههای درون شهری در مقیاسها و منابع مختلف می­باشد. در راهکار ارائه شده...

متن کامل

بهبود سنجش کارایی در مدل تحلیل پوششی داده ها با بهره گیری از تکنیک تحلیل رابطه خاکستری

       سنجش کارایی سازمان­های تولیدی و صنعتی و مقایسه کارایی بین واحدهای آنها از جمله مسائل مهمی است که امروزه در حوزه صنعت مورد توجه قرار گرفته است. در این مقاله از تکنیک تحلیل رابطه خاکستری و تحلیل پوششی داده­ها بطور ترکیبی برای ارزیابی تأمین­کنندگان در شرکت فراگستر توس استفاده شده است. هدف اصلی این مقاله بررسی نقش شاخص­های نماینده (از میان نهاده­ها و ستاده­ها) برای کاربرد در مدل تحلیل پوششی ...

متن کامل

ارزیابی کارایی صنعت خودرو با استفاده از داده های تلفیقی

در این مقاله به منظور ارزیابی کارایی صنعت خودرو در ایران، یک تابع تولید مرزی تصادفی بااستفاده از داده های تلفیقی چهار شرکت بزرگ خودروساز، برآورد شده است. تابع تولید از نوعکاب  داگلاس با دو نهادة نیروی کار و سرمایه و به شکل خطی لگاریتمی در نظر گرفته شده و بهمنظور تفکیک اثرات خارج از کنترل بنگاه ها برناکارایی آن ها مدل اثرات تصادفی با دو فرض ثابتبودن و متغیر بودن ناکارایی در طول زمان برآورد می شو...

متن کامل

منابع من

با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

ذخیره در منابع من قبلا به منابع من ذحیره شده

{@ msg_add @}


نوع سند: پایان نامه

دانشگاه الزهراء علیها السلام - دانشکده فنی

کلمات کلیدی

میزبانی شده توسط پلتفرم ابری doprax.com

copyright © 2015-2023